为多个机器人制定安全，稳定和高效的避免障碍政策是具有挑战性的。大多数现有研究要么使用集中控制，要么需要与其他机器人进行通信。在本文中，我们提出了一种基于对数地图的新型对数深度强化学习方法，以避免复杂且无通信的多机器人方案。特别是，我们的方法将激光信息转换为对数图。为了提高训练速度和概括性能，我们的政策将在两个专门设计的多机器人方案中进行培训。与其他方法相比，对数图可以更准确地表示障碍，并提高避免障碍的成功率。我们最终在各种模拟和现实情况下评估了我们的方法。结果表明，我们的方法为复杂的多机器人场景和行人场景中的机器人提供了一种更稳定，更有效的导航解决方案。视频可在https://youtu.be/r0esuxe6mze上找到。

奖励设计是增强学习应用的关键部分，其性能在很大程度上取决于奖励信号的效果如何，以及信号评估达到该目标的进度的程度。在许多情况下，环境提供的外部奖励（例如，胜利或丢失游戏）非常稀疏，因此很难直接训练代理商。研究人员通常通过在实践中添加一些辅助奖励来帮助学习代理商。但是，设计辅助奖励通常会转向试用搜索奖励设置，从而产生可接受的结果。在本文中，我们建议通过最大程度地提高哪些预期的累积外部奖励可以最大化，以自动生成目标的固有奖励，以学习代理。为此，我们介绍了动机的概念，该概念捕捉了最大化某些奖励并提出基于动机的奖励设计方法的基本目标。基本思想是通过最大程度地减少内在动机和外在动机之间的距离来塑造内在的奖励。我们进行了广泛的实验，并表明我们的方法在处理延迟奖励，探索和信用分配问题方面的最新方法要好。

可靠的导航系统在机器人技术和自动驾驶中具有广泛的应用。当前方法采用开环过程，将传感器输入直接转换为动作。但是，这些开环方案由于概括不佳而在处理复杂而动态的现实情况方面具有挑战性。在模仿人类导航的情况下，我们添加了一个推理过程，将动作转换回内部潜在状态，形成了两阶段的感知，决策和推理的封闭环路。首先，VAE增强的演示学习赋予了模型对基本导航规则的理解。然后，在RL增强交互学习中的两个双重过程彼此产生奖励反馈，并共同增强了避免障碍能力。推理模型可以实质上促进概括和鲁棒性，并促进算法将算法的部署到现实世界的机器人，而无需精心转移。实验表明，与最先进的方法相比，我们的方法更适合新型方案。

隐式神经表示表现出了令人信服的结果3D重建，并且最近也证明了在线大满贯系统的潜力。但是，将它们应用于自主3D重建，在此尚未研究机器人探索场景并计划重建的视图路径的情况下。在本文中，我们首次通过解决两个关键挑战来首次探索自动3D场景重建的可能性：1）寻求标准以根据新表示形式衡量候选人观点的质量，以及2）从可以推广到不同场景的数据而不是手工制作的数据中学习标准。对于第一个挑战，提出了峰值信噪比（PSNR）的代理来量化观点质量。代理是通过将场景中空间点的颜色视为在高斯分布下而不是确定性分布下的随机变量来获得的；分布的方差量化了重建的不确定性并组成代理。在第二个挑战中，代理与场景隐式神经网络的参数共同优化。通过提出的视图质量标准，我们可以将新表示形式应用于自动3D重建。我们的方法证明了与使用TSDF或重建的变体相比，在没有视图计划的情况下，与使用TSDF或重建的变体相比，对各种指标的各种指标进行了重大改进。

我们研究了普遍存在的动作，即所有动作都有预设执行持续时间的环境中，研究了无模型的多机械加固学习（MARL）。在执行期间，环境变化受到动作执行的影响但不同步。在许多现实世界中，这种设置无处不在。但是，大多数MAL方法都假定推断后立即执行动作，这通常是不现实的，并且可能导致多机构协调的灾难性失败。为了填补这一空白，我们为MARL开发了一个算法的算法框架。然后，我们为无模型的MARL算法提出了一种新颖的情节记忆，legeM。 Legem通过利用代理人的个人经历来建立代理商的情节记忆。它通过解决了通过我们的新型奖励再分配计划提出的具有挑战性的时间信用分配问题来提高多机构学习，从而减轻了非马克维亚奖励的问题。我们在各种多代理方案上评估了Legem，其中包括猎鹿游戏，采石场游戏，造林游戏和Starcraft II微管理任务。经验结果表明，LegeM显着提高了多机构的协调，并提高了领先的绩效并提高了样本效率。

在复杂的协调问题中，深层合作多智能经纪增强学习（Marl）的高效探索仍然依然存在挑战。在本文中，我们介绍了一种具有奇妙驱动的探索的新型情节多功能钢筋学习，称为EMC。我们利用对流行分解的MARL算法的洞察力“诱导的”个体Q值，即用于本地执行的单个实用程序功能，是本地动作观察历史的嵌入，并且可以捕获因奖励而捕获代理之间的相互作用在集中培训期间的反向化。因此，我们使用单独的Q值的预测误差作为协调勘探的内在奖励，利用集肠内存来利用探索的信息经验来提高政策培训。随着代理商的个人Q值函数的动态捕获了国家的新颖性和其他代理人的影响，我们的内在奖励可以促使对新或有前途的国家的协调探索。我们通过教学实例说明了我们的方法的优势，并展示了在星际争霸II微互动基准中挑战任务的最先进的MARL基础上的其显着优势。

元增强学习（Meta-RL）从以前任务提取知识，并实现对新任务的快速调整。尽管最近的进展，但Meta-RL的有效探索仍然是稀疏奖励任务中的关键挑战，因为它需要快速寻找在荟萃培训和适应方面的信息相关的经验。为了解决这一挑战，我们明确地模拟了Meta-RL的探索政策学习问题，该探索政策学习问题与开发政策学习分开，并介绍了一种新的赋权驱动探索目标，旨在最大限度地提高任务识别的信息收益。我们派生了相应的内在奖励并开发了一个新的off-Policy Meta-RL框架，它通过分享任务推断的知识有效地学习单独的上下文感知探索和开发策略。实验评估表明，我们的META-RL方法显着优于各种稀疏奖励Mujoco机器人任务和更复杂的稀疏奖励元世界任务的最先进的基线。

基于LIDAR的位置识别是环路闭合检测和全局重川化的必要和具有挑战性的任务。我们提出了深度扫描上下文（DSC），一般和辨别的全局描述符，捕获点云的段之间的关系。与以前的方法或相邻点云的序列进行以获得更好的地方识别，我们只使用原始点云来获得竞争结果。具体而言，我们首先将点云分段为摄影云，以获取细分的质心和特征值。然后，我们介绍一个图形神经网络，将这些功能聚合到嵌入式表示中。在基提数据集上进行的广泛实验表明，DSC对场景变体具有强大，优于现有方法。

Deep learning models can achieve high accuracy when trained on large amounts of labeled data. However, real-world scenarios often involve several challenges: Training data may become available in installments, may originate from multiple different domains, and may not contain labels for training. Certain settings, for instance medical applications, often involve further restrictions that prohibit retention of previously seen data due to privacy regulations. In this work, to address such challenges, we study unsupervised segmentation in continual learning scenarios that involve domain shift. To that end, we introduce GarDA (Generative Appearance Replay for continual Domain Adaptation), a generative-replay based approach that can adapt a segmentation model sequentially to new domains with unlabeled data. In contrast to single-step unsupervised domain adaptation (UDA), continual adaptation to a sequence of domains enables leveraging and consolidation of information from multiple domains. Unlike previous approaches in incremental UDA, our method does not require access to previously seen data, making it applicable in many practical scenarios. We evaluate GarDA on two datasets with different organs and modalities, where it substantially outperforms existing techniques.

The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.